融合依存句法的深度学习藏语句子分割研究

藏语句子分割是藏语自然语言处理中的一项重要且基础性的研究工作。该文根据藏语句子结构特征,在分析藏语句子分割规则与难点的基础上,提出一种融合依存句法的藏语句子分割模型。该模型首先通过词嵌入和藏语依存句法信息嵌入将输入序列映射成实值向量;然后构建融合藏语依存句法的双向LSTM,拼接词语和句法信息特征, 提高上下文时序特征的学习能力;最后利用CRF预测出最佳句子分割点。通过对比实验,验证了该模型对藏语句子分割的有效性。实验结果表明,该模型的F₁值为99.4%。     

基于不同模型的中文命名实体识别方法研究

目的:比较条件随机场、长短期记忆模型、BiLSTM-CRF和使用Bert预训练字符向量的BiLSTM-CRF四种命名实体识别模型。方法:分析比较四种模型在人民日报数据集和MSRA数据集上对人名、地点和机构三类实体的识别性能。结果:单一神经网络LSTM在缺乏训练数据支持的结果表现不如CRF,而使用了Bert预训练字符向量的神经网络即使使用较少的训练数据仍能获得较其他模型更好的结果,在人民日报数据集和MSRA数据集上的F值均达到0.9。结论:单一神经网络模型在缺乏训练数据时有较大局限性,使用Bert预训练字符向量的神经网络模型在中文命名实体识别任务中存在较大优势。     

融合多层次特征的中文语义角色标注

随着人工智能和中文信息处理技术的迅猛发展,自然语言处理相关研究已逐步深入到语义理解层次上,而中文语义角色标注则是语义理解领域的核心技术。在统计机器学习仍占主流的中文信息处理领域,传统的标注方法对句子的句法及语义的解析程度依赖较大,因而标注准确率受限较大,已无法满足当前需求。针对上述问题,对基于Bi-LSTM的中文语义角色标注基础模型进行了改进研究,在模型后处理阶段结合了Max pooling技术,训练时融入了词法和句式等多层次的语言学特征,以实现对原有标注模型的深入改进。通过多组实验论证,结合语言学辅助分析,提出针对性的改进方法从而使模型标注准确率得到了显著提升,证明了结合Max pooling技术的Bi-LSTM语义角色标注模型中融入相关语言学特征能够改进模型标注效果。     

基于Bi-LSTM的财金文本情感分类研究

针对现有文本情感分析方法准确率不高、实时性不强以及特征提取不充分的问题,构建了双向长短时记忆神经网络(Bi-LSTM)模型。利用双向循环长短时记忆神经网络(Bi-LSTM)提取文本的上下文信息;然后,对已提取的上下文特征利用LSTM进行局部语义特征提取;最后,采用语法规则,构建情感分类器。通过与RNN、Bi-LSTM等单一模型对比。实验结果表明,多层LSTM结构相比传统RNN(循环神经网络)的ROUGE(语义恢复度)值更高,具有较好的学习能力。     

云环境下基于动态滑动窗口多通道Bi-LSTM的虚拟机故障预测模型

针对点值预测方法预测虚拟机故障,未充分利用虚拟机历史周期特征和上下文信息、预测准确率不高的问题,提出了一种动态滑动窗口多通道Bi-LSTM的虚拟机故障预测模型。该模型首先利用动态滑动窗口动态捕获虚拟机故障发生过程的上下文特征;然后构建多通道机制的Bi-LSTM以同时学习不同指标类之间的相关性特征,预测虚拟机下一周期的故障;最后根据OCSVM和区间偏移度方法对预测结果进行判断,得出具体的故障类型。实验表明,该模型在预测准确率、召回率、F值三个指标上均优于基线模型,验证了模型对虚拟机故障预测的有效性。     

基于强化学习的医疗问题诉求分类

医疗问题诉求分类属于文本分类,是自然语言处理中的基础任务。该文提出一种基于强化学习的方法对医疗问题诉求进行分类。首先,通过强化学习自动识别出医疗问题中的关键词,并且对医疗问题中的关键词和非关键词赋予不同的值构成一个向量;其次,利用该向量作为attention机制的权重向量,对Bi-LSTM模型生成的隐含层状态序列加权求和得到问题表示;最后通过Softmax分类器对问题表示进行分类。实验结果表明,该方法比基于Bi-LSTM模型的分类结果准确率提高1.49%。     

基于主动学习的命名实体识别算法

命名实体识别的目的是识别文本中的实体指称的边界和类别。在进行命名实体识别模型训练的过程中,通常需要大量的标注样本。本文通过实现有效的选择算法,从大量样本中选择适合模型更新的样本,减少对样本的标注工作。通过5组对比实验,验证使用有效的选择算法能够获得更好的样本集,实现具有针对性的标注样本。通过设计在微博网络数据集上的实验,验证本文提出的基于流的主动学习算法可以针对大量互联网文本数据选择出更合适的样本集,能够有效减少人工标注的成本。本文通过2个模型分别实现实体的边界提取和类别区分。序列标注模型提取出实体在序列中的位置,实体分类模型实现对标注结果的分类,并利用主动学习的方法实现在无标注数据集上的训练。使用本文的训练方法在2个数据集上进行实验。在Weibo数据集上的实验展示算法能从无标签数据集中学习到文本特征。在MSRA数据集上的实验结果显示,在预训练数据集的比例达到40%以上时,模型在测试数据集上的F1值稳定在90%左右,与使用全部数据集的结果接近,说明模型在无标签数据集上具有一定的特征提取能力。     

融合关键对象识别与深层自注意力的Bi-LSTM情感分析模型

在线评论文本通常涉及多个评价对象,对象的表达方式有显式和隐式之分,针对不同对象的情感倾向可能不会完全一致.关键评价对象是评论中最受关注的对象,其相应的情感语义对整条评论的情感观点起主导作用.本文构建了融合关键对象识别与深层自注意力机制的Bi-LSTM模型,以提升短文本情感分类的效果.使用CNN处理文本,基于卷积层输出结果识别关键评价对象,并在此基础上完成深层自注意力的学习.将对象信息与文本信息进行融合,利用注意力机制强化的Bi-LSTM模型得到评论文本的情感分类结果.在酒店评论数据集上进行实验,与之前基于深度学习的模型相比,本文方法在精确率、召回率和F-score评价指标方面均有更好的表现.     

孪生网络中文语义匹配方法的研究

语义匹配是问答领域的一个核心任务,能够为问答系统和信息检索等领域提供技术支持.目前对于语义匹配这一特殊分类问题,神经网络主要使用交叉熵或者对比代价损失函数,忽略了损失函数的分类限制宽泛,导致其在分类边缘存在误差.为了解决此种问题,本文在已有的孪生神经网络的基础上,引入am-softmax损失函数,提升模型精确度,同时在现有的词向量和字向量作为网络输入的基础,进一步引入Attention机制,使模型进一步获取更多的文本信息.实验结果表明,与之前的深度学习模型相比,模型的性能有进一步提高.     

基于分层狄利克雷过程模型的文本分割

文本分割在文本摘要、信息检索等诸多领域都有重要的应用。主题模型是该领域研究中的重要方法,但目前基于主题模型的方法普遍依赖于主题个数的人工设置。针对此问题,本文提出了一种基于分层狄利克雷过程（Hierarchical Dirichlet process,HDP）模型的文本分割方法。首先使用HDP模型获取文本在主题空间的向量表示,然后将主题向量用于C99分割算法实现文本分割,最后使用两种优化策略对结果进行优化。实验结果表明,基于HDP模型的方法能够摆脱对人工设置主题个数的依赖,有效提高了文本分割的性能。